Olivia Colman dilahirkan di Norwich. Ibunya merupakan seorang jururawat dan bapanya merupakan seorang juruukur.[2][3] Beliau belajar di dua sekolah beraliran bebas, Norwich High School for Girls di Norwich dan Gresham's School di Holt, Norfolk. Peranan pertamanya ialah sebagai Jean Brodie dalam filem sekolah The Prime of Miss Jean Brodie pada usia 16 tahun. Beliau kemudian menyedari bahawa bidang lakonan ialah kerjaya pilihannya.[4]

Beliau meneruskan pendidikan formalnya di Homerton College, Cambridge. Pada usia 20 tahun,[5] beliau melanjutkan pendidikan di Bristol Old Vic Theatre School di mana beliau lulus pada tahun 1999 dan juga mengikuti uji bakat Footlights. Beliau pertama kali bertemu dengan pelakon David Mitchell, Robert Webb dan Peter Serafinowicz.[6][7][8][9][10]